package cn.doitedu.day06

import org.apache.spark.{SparkConf, SparkContext}

/**
 * @Date 22.4.4
 * @Created by HANGGE
 * @Description
 */
object C01_FileRDD_NumberPartition {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf()
      .setMaster("local[*]")
      .setAppName("帅无边的男人们")
    val sc = new SparkContext(conf)
    // 一个的小文件  有两个分区  默认人至少两个
    // 查看HDFS 数据的分区数据  [任务切片的大小]  文件的个数
    /**
     * 140b
     * 8K
     *   --> 3
     */
    val rdd = sc.textFile("hdfs://linux01:8020/data/" ,3)
    println(rdd.getNumPartitions)

  }

}
